ACM: 编程的终结（内附视频）
【编者按：从艺术品到计算机代码，今年最火的无疑是生成式AI的出现，生成式AI正在颠覆多个行业，至此也引来了一大部分人的担忧，他们认为人工智能会摧毁一切，但也有人持不同的意见。总部在纽约的全球计算机学会 (ACM: Association for Computing Machinery) 将在明年1月份出版的学会杂志 Communications of the ACM（《ACM 通讯》) 上刊登由 Matt Welsh 撰写的“观点”专栏文章：“The End of Programming” （”编程的终结“）。Welsh 是 Fixie.ai 的首席执行官兼联合创始人，他曾是哈佛大学计算机科学教授、谷歌工程总监、苹果工程主管和 OctoML 工程高级副总裁。他在该文中表示：计算基础定义的这种转变带来了巨大的机遇，他认为现在是时候接受这是一个非常有可能的未来，并相应地发展我们的思维，而不是坐在这里等待流星撞击。虽然该文的一些观点只代表作者本人，但也具有一定的代表性，我们特编译出来和各位客户、合作伙伴朋友分享。】
我在 1980 年成年后，开始在家里编写电脑编程，如 Commodore VIC-20 和 Apple ，并在大学里继续学习计算机科学（CS），最终在伯克利获得博士学位，我的大部分专业培训都植根于我称之为“经典”的CS：编程，算法，数据结构，系统，编程语言。在经典计算机科学中，最终目标是将一个想法简化为由人类编写的程序—用Java、C++或Python等语言编写的源代码，经典CS中的每个想法——无论多么复杂或先进，从数据库连接算法到令人难以置信的迟钝的Paxos共识协议——都可以表达为人类可读、可理解的程序。
1990 年初，当我还在上大学的时候，AI 还处于寒冬的深处，AI 作为一个领域同样被经典算法所主导。我在康奈尔大学的第一份研究工作是与计算机视觉领域的领导者Dan Huttenlocher合作，他现在已经是麻省理工学院苏世民计算学院的院长了，在1995 年左右的 Huttenlocher 博士级计算机视觉课程中，我们从未讨论过任何类似于深度学习或神经网络的东西——所有的都是经典算法，如 Canny 边缘检测、光流和豪斯多夫距离，那时的深度学习还处于起步阶段，尚未被认为是主流AI，更不用说主流CS了。
当然，这是 30 年前的事了，从那以后发生了很多变化，但有一件事并没有真正改变，那就是计算机科学是一门以数据结构、算法和编程为核心的学科。但如果在10 年甚至 30 年后，我们仍然以这种方式接近计算机科学，我会感到惊讶，事实上，我认为计算机科学作为一个领域正在经历一场相当大的剧变，我们中很少有人真正准备好了。
编程将过时
我相信“编写程序”的传统想法正在走向灭绝，事实上，除了非常专业的应用程序之外，我们所知道的大多数软件将被经过训练而不是编程的人工智能系统所取代。在需要“简单”程序的情况下（毕竟，并非所有内容都需要在GPU集群上运行数千亿个参数的模型），这些程序本身将由AI生成，而不是手动编码。
我不认为这个想法是疯狂的，毫无疑问，计算机科学的最早先驱，是从电气工程（相对原始洞穴）中脱颖而出，他们强烈认为所有未来的计算机科学家都需要对半导体、二进制算术和微处理器设计有深刻的理解才能理解软件。到今天为止，我敢打赌，99%编写软件的人几乎不知道CPU的是如何工作的，更不用说晶体管设计的物理原理了，进一步说，我相信未来的计算机科学家将与“软件”的经典定义相去甚远，以至于他们很难实现反转链表或实现快速排序（我不确定我自己是否还记得如何实现快速排序）。
像CoPilot这样的AI编码助手只是我所描述的表面，在我看来，很明显未来的所有程序最终都将由人工智能编写，人类充其量只能扮演监督角色。任何怀疑这一预测的人只需要看看人工智能内容生成的其他方面（例如图像生成）正在取得的非常迅速的进展，DALL-E v1 和仅在 15 个月后宣布 DALL-E v2在质量和复杂性方面的差异是惊人的。如果说我在过去几年的人工智能工作中学到了什么，那就是，人们很容易低估越来越大的人工智能模型的力量，几个月前还像科幻小说的事情正在迅速成为现实。
所以我不仅仅是在谈论Github的CoPilot取代程序员这样的事情，我说的是用训练模型取代编写程序的整个概念。未来，计算机科学专业的学生将不需要学习诸如如何将节点添加到二叉树或C++代码之类的普通技能，这种教育将会过时，就像教工程专业的学生如何使用计算尺一样。
未来的工程师只需敲击几下键盘，就能启动一个包含四亿亿亿参数的模型实例，这个模型已经对人类知识的全部范围（或是部分）进行了编码，并随时准备执行机器要求的任何任务。让机器做自己想做的事，大部分脑力工作将是提出正确的示例、正确的训练数据和正确的方法来评估训练过程，能够通过少数样本学习进行泛化的适当强大的模型只需要几个要执行的任务的好例子。在大多数情况下，不再需要大量的、人为管理的数据集，大多数人“训练”人工智能模型不会在PyTorch 或类似的东西中运行梯度下降循环，他们将以身作则，剩下的交给机器来完成。
在这种新的计算机科学中——如果我们还称之为计算机科学的话——机器将非常强大，并且已经知道如何做很多事情，以至于这个领域看起来将不像是一个工程领域，而更像是一个教育领域；也就是说，如何最好地教育机器，就像如何最好地教育学校里的孩子一样。然而，与（人类）孩子不同，这些人工智能系统将驾驶我们的飞机，运行我们的电网，甚至可能管理整个国家。我认为，当我们的注意力转向教授智能机器而不是直接编程时，绝大多数经典计算机科学就变得无关紧要了，从传统意义上讲，编程实际上已经死了。
我认为计算机科学作为一个领域正处于一个相当大的动荡之中，我们中很少有人真正做好了准备。
这一切是如何改变我们对计算机科学领域的看法的？
新的原子计算单元不再是实现冯·诺依曼机的处理器、内存和 I/O 系统，而是一个大规模的、预先训练好的、高度自适应的 AI 模型。这对我们思考计算方式来说是一个巨大的转变——而不是一个可预测的、静态的、受指令集、类型系统和可判定性概念控制的过程。基于人工智能的计算早已跨越了静态分析和形式证明的界限。我们正在迅速走向这样一个世界，在这个世界里，计算的基本构件是喜怒无常的、神秘的、适应性的代理。
没有人真正了解大型人工智能模型是如何工作的。这一个事实强调了这种转变。人们实际上发现了现有大型模型的新行为，即使这些系统是由人类“设计”出来的。大型AI模型能够做一些他们没有被明确训练做的事情，这应该会把Nick Bostrom的和其他担心超级智能人工智能失控的人吓得魂飞魄散，除了实证研究之外，我们目前没有办法确定当前人工智能系统的局限性。至于未来更大、更复杂的人工智能模型——祝你好运！
对于任何读过现代机器学习论文的人来说，重点从程序到模型的转变应该是显而易见的。这些论文几乎没有提到其创新背后的代码或系统;人工智能系统的构建块是更高级别的抽象，如注意力层、标记器和数据集。即使是20年前的时间旅行者也很难理解（75页的GPT-3 论文）描述了为模型构建的实际软件：“我们使用与 GPT-2 相同的模型和架构，包括其中描述的修改初始化、预规范化和可逆标记化，除了我们在变压器层中使用交替的密集和局部带状稀疏注意力模式，类似于稀疏变压器。为了研究 ML 性能对模型大小的依赖性关系，我们训练了八种不同大小的模型，从 1.25 亿个参数到 1750 亿个参数的，范围超过三个数量级，最后一个是我们称为 GPT-3 的模型。以前的研究表明，有了足够的训练数据，验证损失的缩放应该近似于一个平滑的幂律作为大小的函数;许多不同大小的训练模型使我们能够测试这一假设的验证损失和下游语言任务。
计算基础定义的这种转变带来了巨大的机遇，也带来了巨大的风险。然而，我认为现在是时候接受这是一个非常可能的未来，并相应地发展我们的思维，而不是坐在这里等待流星撞击。
参考文献：
1. Berger, E. Coping with copilot. SIGPLAN PL Perspectives Blog,2022; https://bit.ly/3XbJv5J
2. Bostrom, N. Superintelligence: Paths, Dangers, Strategies. Oxford University Press, 2014；
3. Brown, T. et al. Language models are few-shot learners.2020; https://bit.ly/3Eh1DT5
4. Kojima, T. et al. Large language models are zero-shot reasoners.2022； https://bit.ly/3Ohmlqo
5. Nye, M. et al. Show your work: Scratchpads for intermediate computation with language models. 2021。https://bit.ly/3TLnfMY
关注视频号观看更多内容
END
源于硅谷、扎根中国，上海殷泊信息科技有限公司(MoPaaS)是中国领先的人工智能（AI）平台和服务提供商，为用户的数字转型、智能升级和融合创新直接赋能。针对中国AI应用和工程市场的需求，基于自主的智能 PaaS 云平台专利技术，MoPaaS 在业界率先创新推出拥有云计算(PaaS)+AI技术架构的开放的人工智能平台，以满足工业制造、能源交通、医疗卫生、金融、科研、教育和政府等行业客户的AI技术研发、人才培养和应用落地工程需求。MoPaaS 致力打造全方位开放的AI技术和应用生态圈。MoPaaS 被Forrester评为中国企业级云平台市场的卓越表现者（Strong Performer)。
▼点击下方“阅读原文”，查看文章来源！